OR-License: Evaluating LLM Agents as Real-World Operations Research Practitioners
OR-License:评估 LLM Agent 作为真实运筹优化实践者
🧭 LLM Agent 端到端运筹优化评估
HKUST-GZ · HKU · Qingzhi Optimization (Jinan) Information Technology Co., Ltd. · Hunyuan, Tencent · Tianjin Meta & Infinite Technology Co., Ltd
用 31 个真实付费 OR 项目构建基准,通过客户端模拟器评估 LLM Agent 从原始需求到可部署方案的端到端能力
📌 工作参考价值(4 点)
- 在业务中让 LLM Agent 处理需求分析与建模时,不要只依赖初始 prompt,可引入受控的“客户模拟器”或澄清循环,显式管理信息获取阶段(澄清、建模、验证),并跟踪已确认问题的解决率。
- 评估生成式推荐/优化系统时,除了软性质量指标,应加入可行性硬性检查与类似 DAQ 的“不可行归零”指标,避免模型产出无法部署的方案。
- 对长链路 Agent 任务(如自动选品、库存规划、物流调度),可借鉴研究链完成率定位失败环节:问题表述、代码实现、结果验证,再针对性加入 RAG 或 self-correction。
- 与专家解对比时注意信息边界:业务中 Agent 不应假设隐含专家知识,要显式建模信息获取过程,否则会高估条件质量而低估部署风险。